折射率是最常见的眼睛障碍，是可更正视觉障碍的关键原因，造成了美国近80％的视觉障碍。可以使用多种方法诊断折射误差，包括主观折射，视网膜镜检查和自动磨蚀器。尽管主观折射是黄金标准，但它需要患者的合作，因此不适合婴儿，幼儿和发育迟缓的成年人。视网膜镜检查是一种客观折射方法，不需要患者的任何输入。但是，视网膜镜检查需要镜头套件和训练有素的检查员，这限制了其用于大规模筛查的使用。在这项工作中，我们通过将智能手机连接到视网膜镜和录制视网膜镜视频与患者戴着定制的纸框架来自动化自动化。我们开发了一个视频处理管道，该管道将视网膜视频视为输入，并根据我们提出的视网膜镜检查数学模型的扩展来估算净屈光度错误。我们的系统减轻了对镜头套件的需求，可以由未经培训的检查员进行。在一项185只眼睛的临床试验中，我们的灵敏度为91.0％，特异性为74.0％。此外，与主观折射测量相比，我们方法的平均绝对误差为0.75 $ \ pm $ 0.67D。我们的结果表明，我们的方法有可能用作现实世界中医疗设置中的基于视网膜镜检查的折射率筛选工具。

Individual-level data (microdata) that characterizes a population, is essential for studying many real-world problems. However, acquiring such data is not straightforward due to cost and privacy constraints, and access is often limited to aggregated data (macro data) sources. In this study, we examine synthetic data generation as a tool to extrapolate difficult-to-obtain high-resolution data by combining information from multiple easier-to-obtain lower-resolution data sources. In particular, we introduce a framework that uses a combination of univariate and multivariate frequency tables from a given target geographical location in combination with frequency tables from other auxiliary locations to generate synthetic microdata for individuals in the target location. Our method combines the estimation of a dependency graph and conditional probabilities from the target location with the use of a Gaussian copula to leverage the available information from the auxiliary locations. We perform extensive testing on two real-world datasets and demonstrate that our approach outperforms prior approaches in preserving the overall dependency structure of the data while also satisfying the constraints defined on the different variables.

Finetuning language models on a collection of datasets phrased as instructions has been shown to improve model performance and generalization to unseen tasks. In this paper we explore instruction finetuning with a particular focus on (1) scaling the number of tasks, (2) scaling the model size, and (3) finetuning on chain-of-thought data. We find that instruction finetuning with the above aspects dramatically improves performance on a variety of model classes (PaLM, T5, U-PaLM), prompting setups (zero-shot, few-shot, CoT), and evaluation benchmarks (MMLU, BBH, TyDiQA, MGSM, open-ended generation). For instance, Flan-PaLM 540B instruction-finetuned on 1.8K tasks outperforms PALM 540B by a large margin (+9.4% on average). Flan-PaLM 540B achieves state-of-the-art performance on several benchmarks, such as 75.2% on five-shot MMLU. We also publicly release Flan-T5 checkpoints, which achieve strong few-shot performance even compared to much larger models, such as PaLM 62B. Overall, instruction finetuning is a general method for improving the performance and usability of pretrained language models.

将模型参数适应传入数据流是深度学习可伸缩性的关键因素。有趣的是，在线设置中的先前持续学习策略无意中将其更新的参数锚定在本地参数子空间中，以记住旧任务，否则会偏离子空间并忘记。从这个观察结果，我们在构建多个参数模式和每个模式分配任务之间建立了权衡。模式优化的任务分配（MOTA），我们的贡献适应策略，并行训练多个模式，然后优化每个模式的任务分配。我们从经验上证明了基线连续学习策略以及各种分配变化的改进，即子人群，领域和任务转变。

培训低级的深层神经网络，即使用分解层，特别是社区感兴趣的：它在记忆消耗和训练时间方面提供了对未分离培训的效率。先前的工作集中在预训练的网络的低级近似值和低级空间中的培训中，并提供了其他目标，为所选实践提供了各种临时解释。我们分析了在实践中运作良好的技术，并通过对诸如GPT2之类的模型进行广泛的消融，我们提供了证据表明该领域的共同信念，这暗示着令人兴奋的研究机会仍然需要回答。

深度学习的成功归功于我们能够相对轻松地解决某些大规模的非凸优化问题。尽管非凸优化是NP硬化，但简单的算法（通常是随机梯度下降的变体）在拟合大型神经网络的实践中具有令人惊讶的有效性。我们认为，在考虑了所有可能的隐藏单元对称对称性之后，神经网络损失景观包含（几乎）一个盆地。我们介绍了三种算法以缩小一个模型的单元，以使它们与参考模型的单位保持一致。这种转换产生了一组功能等效的权重，该权重位于参考模型附近的大约凸盆地中。在实验上，我们证明了各种模型架构和数据集中的单个盆地现象，包括在CIFAR-10和CIFAR-100上独立训练的Resnet模型之间的第一个（据我们所知）的（据我们所知）的第一次演示。此外，我们确定了有趣的现象，将模型宽度和训练时间与各种模型和数据集的模式连接性有关。最后，我们讨论了单个盆地理论的缺点，包括对线性模式连接假设的反例。

超过人类决策能力的机器学习模型的出现，在复杂的领域中启动了一种运动，以构建与人类互动的AI系统。许多构建基础对于这项活动至关重要，中心是人类行为的算法表征。尽管现有的大部分工作都集中在人类的总体行为上，但一个重要的远程目标是开发专门针对个人人并可以在其中区分的行为模型。为了使这个过程形式化，我们研究了行为风格的问题，其中任务是仅从决策中确定决策者。我们提出了一种基于变压器的方法，用于在国际象棋的背景下进行行为风格测量法，其中有人试图识别玩一组游戏的玩家。我们的方法在几个弹药的分类框架中运行，并且可以在只有100个标签游戏的情况下正确地从成千上万的候选玩家中识别出98％精度的候选人。即使接受业余比赛的训练，我们的方法还是对大师级玩家的分布样本的概括，尽管业余球员和世界一流的球员之间存在巨大差异。最后，我们更广泛地考虑了我们所产生的嵌入有关国际象棋中人类风格的揭示的内容，以及在行为数据中识别个人的强大方法的潜在伦理含义。

本文介绍了一种数据驱动的形状完成方法，该方法着重于完成3D形状缺失区域的几何细节。我们观察到，现有的生成方法缺乏训练数据和表示能力，可以通过复杂的几何形状和拓扑合成合理的，细粒度的细节。我们的关键见解是从部分输入复制和变形补丁以完成缺失区域。这使我们能够保留本地几何特征的风格，即使它与培训数据有很大不同。我们的全自动方法分为两个阶段。首先，我们学会从输入形状检索候选补丁。其次，我们选择并变形了一些检索到的候选者，以无缝将它们融合到完整的形状中。该方法结合了两种最常见的完成方法的优点：基于相似性的单稳定性完成，以及通过学习形状空间来完成。我们通过从部分输入中检索贴片来利用重复模式，并通过使用神经网络来指导检索和变形步骤来学习全球结构先验。实验结果表明，我们的方法在多个数据集和形状类别上的表现非常优于基线。代码和数据可在https://github.com/gitbosun/patchrd上找到。

人工智能研究中的一个新兴主题是创建模型，以模拟特定人员的决策和行为，包括游戏玩法，文本生成和艺术表达。这些模型以对个人的量身定制的方式以及为互动而不是简单地繁殖固定的预计行为的复制方式而超越了早期的方法。我们将这些称为模拟模型，在本文中，我们开发了一个框架，以表征其日益增长的可用性所带来的道德和社会问题。我们的框架包括用于使用此类模型的许多不同方案，并考虑了对一系列不同参与者的影响，包括正在建模的目标，部署模型的操作员以及与之交互的实体。

物理知情的神经网络（PINN）要求定期的基础PDE解决方案，以确保准确的近似值。因此，它们可能会在近似PDE的不连续溶液（例如非线性双曲方程）的情况下失败。为了改善这一点，我们提出了一种新颖的PINN变体，称为弱PINN（WPINNS），以准确地近似标量保护定律的熵溶液。WPINN是基于近似于根据Kruzkhov熵定义的残留的最小最大优化问题的解决方案，以确定近似熵解决方案的神经网络的参数以及测试功能。我们证明了WPINN发生的误差的严格界限，并通过数值实验说明了它们的性能，以证明WPINN可以准确地近似熵解决方案。